史上最严“中文真实性评估”：OpenAI o1第1豆包第2，其它全部不及格
史上最严“中文真实性评估”：OpenAI o1第1豆包第2，其它全部不及格新的大语言模型（LLM）评估基准对于跟上大语言模型的快速发展至关重要。
来自主题: AI技术研报
7471 点击 2024-11-21 13:47
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
新的大语言模型（LLM）评估基准对于跟上大语言模型的快速发展至关重要。
如何解决模型生成幻觉一直是人工智能（AI）领域的一个悬而未解的问题。为了测量语言模型的事实正确性，近期 OpenAI 发布并开源了一个名为 SimpleQA 的评测集。而我们也同样一直在关注模型事实正确性这一领域，目前该领域存在数据过时、评测不准和覆盖不全等问题。例如现在大家广泛使用的知识评测集还是 CommonSenseQA、CMMLU 和 C-Eval 等选择题形式的评测集。
算起来，距离 5 月 14 日 OpenAI 发布 GPT-4o 高级语音模式已经过去了半年时间。在这期间，AI 实时语音对话已经成为了有能力大厂秀肌肉、拼实力的新战场。
11月4日，OpenAI CEO Sam Altman（以下称“Altman”）在“The Twenty Minute VC”播客中回答了这些问题，他明确表示，提升推理能力一直是OpenAI的核心战略。
自我纠错（Self Correction）能力，传统上被视为人类特有的特征，正越来越多地在人工智能领域，尤其是大型语言模型（LLMs）中得到广泛应用，最近爆火的OpenAI o1模型[1]和Reflection 70B模型[2]都采取了自我纠正的方法。
今年，OpenAI 可以说是大事不断：内斗、离职等等一系列事件吸引着大家的眼球。 其中，OpenAI 与马斯克的诉讼、纠纷也一直备受大家关注。
OpenAI 在周三由美国战略与国际研究中心在华盛顿特区主办的一次活动上公开了其最新的政策蓝图。
kimi全面开放一周年之际，创始人杨植麟亲自发布新模型—— 数学模型k0-math，对标OpenAI o1系列，主打深入思考。 在MATH、中考、高考、考研4个数学基准测试中，k0-math成绩超过o1-mini和o1-preview。
多智能体系统，可自动化整个 ML 工作流程，节省数千小时工时。
继 OpenAI o1 成为首个达到 Kaggle 特级大师的人工智能（AI）模型后，另一个 Kaggle 大师级 AI 也诞生了。